Native Active Perception as Reasoning for Omni-Modal Understanding
面向全模态理解的主动感知即推理
🧭 Agent 主动感知与推理优化
The Chinese University of Hong Kong · Shanghai Jiao Tong University · Qwen Team, Alibaba Group · Nanyang Technological University
提出OmniAgent: 首个将长视频理解建模为POMDP迭代循环的原生全模态代理，通过按需主动感知与Agentic RL实现推理-时长解耦和测试时正拓展
📌 工作参考价值（4 点）
- 按需多模态信息抽取：电商直播、商品讲解长视频中，可借鉴“观察-思考-行动”循环设计代理，仅针对用户咨询动态提取关键音视频片段，大幅降低首响延迟与计算开销，同时保持全量信息的可访问性。
- Agentic RL 功劳分配：TAURA 利用回合级熵值将奖励集中于关键发现回合，适合多轮对话推荐、用户意图探索等序列决策场景，有效抑制无意义探索噪声，提升在线学习效率。
- 持久文本记忆解耦：将视觉、听觉等多模态原始数据实时蒸馏为可压缩、可检索的文本记忆，在用户意图漂移或长会话推荐中维持轻量、可扩展的状态跟踪，避免上下文窗口堆砌。
- 测试时正拓展策略：通过动态增加推理轮数提升复杂 query 的推荐/回答质量，可移植到交互式推荐系统的自适应深度推理，实现“思考越久，推荐越准”的效果。